Inu hoặc ken (犬) trong tiếng Nhật có nghĩa là con chó, nhưng nguồn gốc của từ "Shiba" vẫn chưa rõ. Từ Shiba có nghĩa là cây bụi trong tiếng Nhật, đề cập đến một loại cây hoặc cây bụi có lá chuyển sang màu đỏ vào mùa thu.[4] Điều này khiến cho một số người tin rằng Shiba được đặt tên như thế là vì loài chó này được sử dụng để săn mồi trong các bụi cây, hoặc có thể là do màu sắc phổ biến nhất của Shiba Inu là màu đỏ tương tự như của các cây bụi. Tuy nhiên, trong một phương ngữ Nagano cổ, từ Shiba cũng có ý nghĩa là nhỏ, do đó cái tên có thể nói đến tầm vóc nhỏ bé của con chó.[4] Do đó, Shiba Inu đôi khi được dịch là "Little Brushwood Dog", tức "Chó bụi cây nhỏ".[1]